MMSkills: Towards Multimodal Skills for General Visual Agents
MMSkills：面向通用视觉智能体的多模态技能框架
🧭 视觉智能体 · 多模态技能复用
Shanghai Jiao Tong University · Xiaohongshu Inc. · Southeast University
提出多模态技能包（状态卡片+关键帧+文本过程），并通过分支加载机制提升视觉Agent决策。
📌 工作参考价值（4 点）
- 可借鉴多模态技能包构建方式：将电商操作流程（如商品搜索、下单）封装为文本过程+关键状态截图+状态描述卡片，减少Agent推理时的图像上下文开销。
- 利用非评测的用户交互轨迹（如公开的购物会话）自动生成可复用技能库，通过工作流分组和视觉接地减少人工标注成本。
- 分支加载机制可集成到电商Agent中：在临时上下文里对比当前界面与技能包中的关键帧，对齐状态后才给出操作建议，避免直接参考静态截图导致的过锚定。
- 多模态过程知识对外部技能库的补充思路，可推广到生成式推荐中的多模态用户意图理解，用类似状态卡片描述用户当前搜索上下文。